2Б 


УДК 681.3 


М.К. Буза 
Белорусский государственный университет, г. Минск, Беларусь 
Беларусь, г.Минск, пр-т Независимости 4, Боига@Ьзи.Бу 


Среда проектирования распределенной обработки данных 


М.К. Воиза 
Веагияап ие Иптуегзиу, Мт&к, Веагиз 
Веагиз, Мтэк, рг-Ё таерепаепсе 4, Боига@5и.Бу 


Епятоптет! Оеяют о/ О5йльшеа аа Ргосезяте 


М.К. Буза 
Рлоруський державний унверситет, м. Мнськ, Ылорусь 
Рлорусь, м. Мнськ, пр. Незалежности 4, Боига@Б5и.Бу 


Середовище проектування розпод1лено! обробки даних 


Рассмотрен и проанализирован ряд существующих концепций распределенной обработки данных. 
Сформулированы основные требования, предъявляемые к таким системам, и предложены стратегии 
их реализации. Выбрана и обоснована технология с открытым кодом, поддерживающая распределен- 
ную обработку. Расширены ее функциональные возможности по обработке больших объемов данных, 


идентификации и обработке сбоев рабочих процессов. 
Ключевые слова: распределенная обработка, стратегии реализации, открытый код, 
масштабируемость, идентификация, пакетирование 


Кеме\е4 ап апа1у7е4 а питабег о# ех1$Ип5 сопсер{5 оЁ 41516 ще4 аа ргосеззте. ТНе Ба$1с гедитетеп$ 
1ю зисН зузет$ ап зайеез Юг Феш пирететаноп уаз зиосезе4. Зее‹ме4 ап4 ргоуе4 {есппо]озу оЁ 
ореп зопгсе фа зирром$ а1$оме ргосеззте. Ехрапаеа из КпсНопа! сара Ш@ез Юг ргосеззте [агое 
атлоци $ оЁ даа, 14епиЯсаНоп ап@ БапаПпе гаЙогез \уогкНоууз. 

Кеууогд$: @знтощеа ргосеззте, пар!ететайоп згайезтез, ореп зопгсе, зса|аЫе, 

14епиЙсаНоп, расказте 


Розглянуто 1 проанал1зовано ряд 1снуючих концепшй розподлено! обробки даних. Сформульован! 
основн! вимоги, що пред’являються до таких систем, та запропоновано стратеги 1х реалзаци. Обрана 
1 обгрунтована технолопя з идкритим кодом, що шдтримуе розподлену обробку. Розширен! Й функщю- 
нальн! можливост! по обробщ великих обсяцв даних, 1дентиф/каци та обробки збойв робочих процесв. 
Ключов! слова: розподллена обробка, стратегй реаллзацй, в1дкритий код, масштабован1сть, 
1дентиф\кащя, пакетування 


Введение 


На сегодняшний день накоплен огромный объем различных данных, которые 
необходимо обработать за разумное время. Как сказал Эрик Шмидт из Сооз: «С 
момента зарождения цивилизации и до 2003г. человечество накопило пять экзабайт 
данных. Сейчас такой объем мы генерируем за два дня». 

Огромный объем данных генерируют телефонные звонки, сайты социальных 
сетей, вообще пользователи Интернета. Мы всюду оставляем след своих действий, 
создавая информацию. 

Теперь, пожалуй, обработка больших данных занимает позицию как тренд номер 
два в информационно-технологической инфраструктуре после виртуализации. 

С другой стороны, исследователи приступают к решению сложных задач, 
требующих высокоэффективных вычислительных платформ. Среди них выделяются 
задачи климатологии, моделирования в физике, поиск внеземных цивилизаций [1]. 
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Для решения таких задач за ограниченное время требуется создавать системы 
распределенной обработки данных (РОД). Однако здесь возникают новые проблемы: 
динамичное управление ресурсами, оптимизация организации распределенной памяти, 
минимизация взаимодействий между различными процессами, обеспечение отказо- 
устойчивости всей системы и другие [2]. 

Отсюда следует необходимость создания системы распределенной обработки, 
минимизирующей влияние некоторых из перечисленных проблем. 

Цель работы — расширение функций РОД по динамичному управлению про- 
цессами, обнаружению и обработке отказов рабочих процессов. 

Ниже предлагается масштабируемая система распределенной обработки, вы- 
полняющая параллельные вычисления и обрабатывающая отказы ее узлов. 


Выбор базовой технологии 


Среда распределенных систем ассоциируется как с Оп!4-технологиями, так и с 
облачными вычислениями. Несмотря на то, что инфраструктура «облаков» сущест- 
вует в различных формах, фундаментальная основа ее состоит в том, что любой 
пользователь компьютерных систем может через интернет получить необходимые 
ему информационные услуги. При этом требуется решить две важнейшие проблемы: 
масштабирование и обработка отказов в течение всего времени работы. 

Важнейшей составляющей облачных вычислений является система сборки ре- 
зультатов. Интегрированные среды типа У\У1зиа1 За 1ю и ЕсПрзе, актуальные в 2000-х 
годах, сменились современными встроенными предметно-ориентированными языками, 
такими как Отае, 5Сопз, КаКе и ЗВакКе. 

В качестве основы для реализации указанных задач было выбрано решение с 
открытым кодом ТегтасоНа, обеспечивающее практически линейное масштабиро- 
вание и высокую надежность [3]. Кроме того, Теггасойа поддерживает стандартную 
НТТР кластеризацию сессий в серверах АрасВе Тотпсай и Огасе \УеБГоз2с, а также 
интегрируется с другими проектами с открытым кодом: 5$, Зрише, Нфегиже. 

Во время кластеризации решаются две важнейших задачи — масштабирование 
и обработка отказов. Причем при вертикальной кластеризации осуществляется рас- 
пределение нагрузки на разных экземплярах сервера, реально функционирующих на 
одном физическом сервере. Горизонтальная кластеризация осуществляет распреде- 
ление нагрузки среди множества обработчиков. Решаемые кластеризацией задачи 
очень важны для систем, которым необходимо обеспечение безотказной работы в 
течение всего времени функционирования. Здесь важно выбрать корректную пове- 
денческую стратегию системы в случае отказа основного сервера, включающую 
репликацию состояния пользователя и перенаправление его запросов на один из 
вспомогательных серверов. 

Посредством конфигурационного файла задаются основной и вспомогательный сер- 
вера. Один из конфигурационных файлов может быть представлен следующим образом 

< : К - сопй® 

х&! : эспетаосайоп = "Н@р: // уму. {егтасоНа.ого/зрета/еггасойа-5.хз4” 

хи [и$ : с = "БИр: // уму. ЧеггасоНа.оте/сопйэ” 

хи[и$ : х$1 = "Бр: // улми\и. №3 .0г9/2001/ХМЕ5сБепа-ш$апсе”> 


<зегуег 6054 = "123.456.7.890” пате = "Зегуег1”> 
<зегуег Но5{ = "туКезо]уаМеНо$ Мате” пате = "Зегуег2”> 


</ {с : К - сопйэ> 
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Сам процесс пересылки данных осуществляется через конвертацию Лауа- 
объектов в бинарные объекты, называемую сериализацией. Стандартная схема этой 
акции состоит в определении измененных объектов, их конвертации и отсылке ре- 
зультата на реплицированный сервер. 

Будем использовать Буесо4е шзилитетайоп (ВС) на серверах и клиентах для 
определения измененных объектов и реплицировать их только в кластере. ВС по 
сути является механизмом изменения поведения приложения, работающего в реаль- 
ном времени. Достигается оно через перехват события изменения состояния объекта, 
модифицируя его Буесоде. 

При создании обработчика отказов необходимо решить вопрос, когда и куда 
пересылать кластерную информацию. Стандартный подход состоит в пересылке реп- 
лицированных данных всем серверам системы сразу же после изменения [4]. Но это 
порождает болыпую избыточность. Лучшее решение — отсылать измененные данные 
только некоторым серверам, указанным в конфигурационном файле, а остальные 
могут получить эту информацию по требованию. 

Используя решение Теггасойа можно из любой многопоточной программы [2], 
изначально определенную для работы на одном узле, сделать многоузловую, не 
изменяя кода, и используя обычный ]ауа синтаксис. Так как Теггасойа является тех- 
нологией с открытым кодом и поддерживает возможность разработки дополни- 
тельных модулей и их интеграцию, то используем эти возможности для функцио- 
нального расширения ее возможностей 


Модуль расширения для ТЕККАСОТТА 


Разработанный модуль расширения ТеггасоНа базируется на шаблоне «мастер/ 
рабочий», но имеет ряд преимуществ по сравнению с большинством стратегий 
реализации данного шаблона. 

При разработке расширения были учтены проблемы и задачи, которые появляются 
во время реализации платформы для параллельных вычислений. В частности, 

— большой объем данных; 

— маршрутизация; 

— сбой работы и обработка данного типа сбоя; 

— динамичное управление ресурсами системы. 

Диаграмма классов для предлагаемого расширения системы приведена на рис. 1. 

Стандартная реализация шаблона «мастер/рабочий» состоит в реализации 
очереди задач между мастерами и рабочими. Однако, если мы решаем проблему 
обработки больших объемов данных, то одна очередь может стать узким местом в 
процессе вычислений. 

Мы можем использовать многопоточные вычисления [5] или ОрепСГ. [6], если 
выбранная технология ее поддерживает. 

Одним из вариантов решения проблемы может стать введение отдельных оче- 
редей для каждого рабочего процесса, а функционал мастера расширить балансиров- 
кой нагрузки на данные очереди. Такой подход позволяет: 

— увеличить использование локальных ссылок. Если все вычисления над одними и 
теми же данными направлены в одну очередь, то рабочие процессы не будут совместно 
использовать объекты, находящиеся в различных Лауа Ушаа! Маспше (УМ). Изме- 
нение объекта не приведет к увеличению трафика в системе; 

— уменьшить конкуренцию между рабочими процессами, ибо для каждой 
очереди будет один пишущий и один читающий субъект. 
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Рисунок 1 — Диаграмма основных классов модуля расширения 


Более сильный вариант сокращения конкуренции -— разбиение каждой из ра- 

бочих очередей на две. Одна очередь для отправки работы от мастера к рабочему, а 
вторая для отсылки полученных результатов. Реализация такого подхода в созданном 
модуле потребовала разработки класса-обертки над предложенными двумя очередями, 
включающая Раре(канал) и класс РареРтосеззот, отвечающих за управление различ- 
ными каналами. Каждому каналу назначен уникальный номер и работы от мастера 
направляются в ту или иную очередь в зависимости от выбранного алгоритма мар- 
шрутизации и схемы обработки отказов. Реализованы четыре стратегии распределе- 
ния работы по узлам: 

— произвольный выбор узла; 

— выбор узла с наименьшей загрузкой; 

— направление на узел, где имеются необходимые для работы данные; 

— стратегия карусели. 


Реализация механизма пакетирования заданий 
и динамического управления рабочими процессами 


Новые концепции, например, каналы с входящими и исходящими очередями, 
вспомогательные классы для управления маршрутами и каналами уникальные номера 
маршрутов для каждого рабочего недостаточны для стабильной работы распределен- 
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ной системы. Во-первых, потому что классическая реализация шаблона «мастер/ 
рабочий» допускает интенсивное взаимодействие между мастерами и рабочими. На каж- 
дую запись или чтение очередь блокируется, что может привести к блокирующей кон- 
куренции процессов. Во-вторых, управление рабочими процессами должно проходить в 
динамике, так как системы распределенной обработки должны быть масштабируе- 
мыми по определению. В случае статического управления добавления новых узлов 
в системе запрещены, так как фиксированы все маршруты. 

Кроме того, основное требование к системе — обработка сбоев рабочих процес- 
сов. Система должна обнаружить ситуацию отказа и перенаправить всю работу данного 
рабочего процесса в соответствии с выбранным алгоритмом. 

Для решения данных проблем предложенный модуль расширения использует 
два механизма: пакетирование работы и динамическое управление рабочими процес- 
сами, основанными на кластерных событиях Теггасойа. 

Для эффективного использования вычислительных мощностей процессоров не- 
обходимо уменьшать количество конфликтов блокировок, сокращающих время ожидания 
различных потоков. В общем случае уменьшение глубины блокировок насколько это 
возможно является хорошим решением. Но такая концепция в случае Теггасойа не 
всегда дает желаемый эффект, так как эта технология рассматривает критическую 
секцию (например, синхронизированные блоки и методы) как единую транзакцию. 
Все изменения, произведенные в пределах данной транзакции, собираются в одно 
атомарное изменение, отсылаемое на сервер во время ее завершения. Предполагает- 
ся, что сбор всех данных не слишком затратная операция по сравнению с передачей 
изменений на сервер. 

В разработанном модуле предложено и реализовано более изящное решение, 
используя пакетирование. Вместо того чтобы каждую работу добавлять в канал 
немедленно после ее создания, работы формируются в пакет, задается некоторое 
пороговое значение по достижении которого весь набор работ добавляется в канал в 
одной транзакции. Рабочие процессы также могут использовать данную стратегию 
во время добавления полученных в процессе вычислений данных в канал для форми- 
рования конечного результата. 

Разработанный программный модуль для построения распределенных систем 
создан на основе динамического управления рабочими процессами. Используя высоко- 
уровневую систему подписки на события (кластерные события) каждый из узлов системы 
может подписаться или распространить событие во время подключения или отключения 
от разработанной распределенной системы. 

Данные события представляют собой ЛМХ-события и могут использоваться любой 
поддерживающий МХ библиотекой или средой. 

Таким образом, используя кластерные события, организовано динамическое 
управление рабочими процессами и реализована возможность их добавления и 
отключения в режиме реального времени. 


Выводы 


Любая распределенная система обработки данных, особенно если она ориенти- 
рована на облачные вычисления, должна поддерживать возможность добавления и 
удаления ресурсов в реальном времени. 

Разработанное расширение для Тетасойа спроектировано, учитывая требования, 
предъявляемые к распределенным системам. Оно включает 

— обработку отказов системы во время работы; 

— обработку отказов рабочего процесса; 
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— динамическое управление вычислительными ресурсами системы; 
— механизм пакетирования для повышения производительности системы. 
Предложенный модуль представляет собой гибкую, простую в освоении и ис- 

пользовании среду для построения распределенных систем. 

На основании проведенных экспериментов было показано, что достигается почти 
линейный прирост производительности при подключении новых узлов в реальном 
времени. 
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Епутоптет Реяепт ор Гл5ифшеа Рая Ргосеуяте 


Веме\уе4 ап4 апа[у7е4 а питбег оРех1$Ипе сопсер5 оЁ а1зитьщеа даа ргосеззше. 
Тре Баз1с гедитетет №ю зисВ 5узетл$, ап4 зтайерлез Юг Шеш пиретешаноп \еге 
зисоез\е4. Зеесе ап ргоуе4 {есбпоогу оЁ ореп зоигсе а зирромз @зеиЬщеа 
ргосеззте. Ехрападеа из КапсНопа| сара Пиез$ Юг ргосеззше |агое атоии оР даа, 
14епийсайоп ап4 Вап4Пи® РаПогез \уоткЙо\з. То гедисе ууай итез ш уатои$ @геа4$ ш 
Фе даеце тесВапзт расКасте \отк$ \а$ зпосезе4. 
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